УДК 519.2:303.732.4	UDC 519.2:303.732.4	
		
01.00.00 Физико-математические науки	Physics and mathematical sciences	
		
О ПРОВЕРКЕ ОДНОРОДНОСТИ СВЯЗАННЫХ ВЫБОРОК	TESTING OF HOMOGENEITY OF PAIRED SAMPLES	
		
Орлов Александр Иванович
д.э.н., д.т.н., к.ф.-м.н., профессор
РИНЦ SPIN-код: 4342-4994	Orlov Alexander Ivanovich
Dr.Sci.Econ., Dr.Sci.Tech., Cand.Phys-Math.Sci., professor	
Московский государственный технический университет им. Н.Э. Баумана, Россия, 105005, Москва, 2-я Бауманская ул., 5, prof-orlov@mail.ru 	Bauman Moscow State Technical University, Moscow, Russia 	
		
Статья начинается с письма главного инженера подмосковного химического комбината. Он просит провести обработку представленных данных современными статистическими методами и выдать заключение о наличии (или отсутствии) зависимости между двумя методами определения вязкости мастики. Для каждой из партий мастики были представлены два числа - результаты измерения вязкости двумя методами. Эти числа образуют две связанные выборки. Требуется установить, дают ли два указанных метода сходные результаты. Истинные значения вязкости в партиях различны. Их различие не позволяет объединить результаты измерения первым методом в одну выборку, вторым методом - во вторую выборку, как делалось в случае проверки однородности двух независимых выборок. Для решения поставленной задачи в статье рассмотрены четыре статистических критерия, основанные на изучении разностей соответствующих значений двух связанных выборок. Проверяется равенство 0 медианы (критерий знаков) и математического ожидания этих разностей. Гипотеза проверки совпадения функций распределения двух связанных выборок сводится к гипотезе симметрии функции распределения разностей относительно 0. При альтернативе сдвига предлагается использовать критерий знаковых рангов Вилкоксона, а при общей альтернативе – разработанный автором настоящей статьи критерий типа омега-квадрат	The article begins with the letter of the chief engineer of chemical plant near Moscow. He requests to analyze of data by means of modern statistical methods and give an opinion on the presence (or absence) of the relationship between the two methods of determining the viscosity of the mastic. For each of the batches of mastic It was presented two numbers - the viscosity measurement results of the two methods. These numbers form two paired samples. We want to install, give whether two specific methods similar results. The true values of viscosity in different batches are not equal. Their difference is not allows us to combine the results of the first measurement method in first sample,  the results of the  second method - in the second sample, as we can do in the case of testing the homogeneity of two independent samples. For solutions to this problem we discuss four statistical criterions, based on a study of the differences between corresponding values in two paired samples. We test the hypothesis of equality 0 of median of these differences (sign test) and of equality 0 of the mathematical expectation of these differences. Hypothesis of testing of equality of the distribution functions of two paired samples is reduced to the hypothesis of symmetry of the distribution function of these differences with respect to 0. In the alternative of the shift is proposed to use the Wilcoxon signed rank criterion. In the total alternative is proposed to use criterion of the omega-square type which is developed by the author of this article	
		
Ключевые слова: МАТЕМАТИЧЕСКАЯ СТАТИСТИКА, ПРИКЛАДНАЯ СТАТИСТИКА, НЕПАРАМЕТРИЧЕСКАЯ СТАТИСТИКА, ПРОВЕРКА СТАТИСТИЧЕСКИХ ГИПОТЕЗ, СВЯЗАННЫЕ ВЫБОРКИ, ПРОВЕРКА ОДНОРОДНОСТИ, КРИТЕРИЙ ЗНАКОВ, КРИТЕРИЙ ЗНАКОВЫХ РАНГОВ ВИЛКОКСОНА, КРИТЕРИЙ ТИПА ОМЕГА-КВАДРАТ	Keywords: MATHEMATICAL STATISTICS, APPLIED STATISTICS, NONPARAMETRIC STATISTICS, STATISTICAL HYPOTHESIS TESTING, PAIRED SAMPLES, HOMOGENEITY TESTING, SIGN TEST, WILCOXON SIGNED RANK CRITERION, CRITERION OF THE OMEGA-SGUARE TYPE

	1. Введение. Постановка практической задачи
	Начнем с выдержки из полученного нами несколько лет назад письма главного инженера подмосковного химического комбината (некоторые названия изменены).
	«…Наш комбинат выпускает мастику по ГОСТ (следует номер) и является разработчиком указанного стандарта. В результате исследовательских работ по подбору стандартного метода определения вязкости мастики на комбинате накоплен большой опыт сравнительных данных определения вязкости по двум методам:
	- неразбавленной мастики - на нестандартном приборе фабрики им. Петрова;
	- раствора мастики - на стандартном вискозиметре ВЗ-4.
Просим провести обработку представленных данных современными статистическими методами и выдать заключение о наличии (или отсутствии) зависимости между указанными выше методами определения вязкости мастики. Ваше заключение необходимо для решения спорного вопроса о целесообразности вновь ввести в ГОСТ (следует номер) метода определения вязкости мастики по вискозиметру ВЗ-4, который, по мнению некоторых потребителей, был необоснованно исключен из этого ГОСТ по изменению №1.
	Приложение: статистика на 3 листах...»
	Комментарий. Вязкость мастики - один из показателей качества мастики. Вначале разработчики нормативно-технической документации (в данном случае - государственного стандарта) исходили из того, что поставщику и потребителю следует согласовать не только требования к показателям качества, но и способы измерения показателей качества. Иначе достаточно часто поставщик (производитель) будет утверждать, что он выполнил условия контракта, а потребитель заявлять, что нет. 
	Простейший метод согласования способов измерения показателей состоит в том, чтобы выбрать один из них и внести в государственный стандарт, который тем самым будет содержать не только описание продукции, перечень ее показателей качества и требований к ним, но и способы измерения этих показателей. Так и сделали.
	Однако через некоторое время нашлись руководители, которые сочли, что фиксация в стандарте способа измерения вязкости мастики ограничивает самостоятельность предприятий и дает неправомерные конкурентные преимущества производителю соответствующего средства измерения (вискозиметра). Поэтому положение об использовании определенного средства измерения было из стандарта исключено.
	Результат не заставил себя ждать - появились т.н. арбитражные ситуации, т.е. возникли хозяйственные споры о качестве продукции между поставщиками и потребителями, применяющими различные средства измерения. Проблема состоит в том, чтобы выяснить причину споров: лежит ли она в реальном качестве продукции или же связана с использованием разных средств измерения. Приведенная выше выдержка из письма говорит о том, что специалисты по мастике решили провести независимую экспертизу, обратившись к специалистам по статистическим методам.

	2. Заключение по данным, представленным химическим комбинатом
	В приложении к процитированному письму для каждой из 213 партий мастики были представлены два числа - результат измерения вязкости на нестандартном приборе фабрики им. Петрова и результат измерения вязкости на стандартном вискозиметре ВЗ-4. Требуется установить, дают ли два указанных метода сходные результаты. Если они дают сходные результаты, то нет необходимости вводить в соответствующий ГОСТ указание о методе определения вязкости. Если же методы дают существенно различные результаты, то подобное указание ввести необходимо.
	Первый шаг - переход от реальной ситуации к задаче в рамках прикладной математической статистики. Для этого необходимо прежде всего сформулировать вероятностно-статистической модель, т.е. модель в терминах теории вероятностей и математической статистики.
	Опишем вероятностно-статистическую модель, которую будем применять. Считаем, что статистические данные имеют вид  где xi  -результат измерения на нестандартном приборе фабрики им. Петрова в i-ой партии, а yi - результат измерения вязкости на стандартном вискозиметре ВЗ-4 в той же i-ой партии. Пусть ai - истинное значение показателя качества в i-ой партии. Естественно считать, что указанные выше случайные вектора независимы в совокупности. При этом они не являются одинаково распределенными, поскольку отличаются истинными значениями показателей качества ai. Принимаем, что при каждом i случайные величины xi - ai  и yi - ai независимы и одинаково распределены. Это условие и означает однородность связанных выборок. Параметры связи - величины ai. Их наличие не позволяет объединить первые координаты в одну выборку, вторую - во вторую, как делалось в случае проверки однородности двух независимых выборок [1 - 3]. 
	В предположении непрерывности функций распределения из условия однородности в связанных выборках вытекает, что 

	Рассмотрим случайные величины  Из последнего соотношения вытекает, что при справедливости гипотезы однородности для связанных выборок эти случайные величины имеют нулевые медианы. Другими словами, вместо проверки того, что методы измерения вязкости дают схожие результаты, можно проверять равенство 0 медиан величин Zi, т.е. проверять следствие гипотезы однородности связанных выборок.
	Для проверки гипотезы о том, что медианы величин Zi нулевые, применим широко известный критерий знаков (см., например, справочник [4, с.89-91]). Согласно этому критерию необходимо подсчитать, в скольких партиях  и в скольких . Для представленных химическим комбинатом данных  в 187 случаях из 213 и  в 26 случаях из 213.
	Если рассматриваемая гипотеза однородности верна, то число W осуществлений события  имеет биномиальное распределение с параметрами p = 1/2 и n = 213. Математическое ожидание М(W)=106,5, а среднее квадратическое отклонение  Следовательно, интервал  - это интервал 84 < W < 129. Найденное по данным химического комбината значение W=187 лежит далеко вне этого интервала. Поэтому рассматриваемую гипотезу необходимо отвергнуть (на любом используемом в прикладных работах уровне значимости, в частности, на уровне значимости 1%).
	Таким образом, статистический анализ показывает, что два метода измерения вязкости дают существенно различные результаты - по прибору фабрики им. Петрова результаты измерений, как правило, меньше, чем по вискозиметру ВЗ-4. Это означает, что в соответствующий ГОСТ целесообразно ввести указание на метод определения вязкости.

	3. Система вероятностных моделей при проверке гипотезы однородности связанных выборок
	Как и в случае проверки однородности независимых выборок [1, 5], система вероятностных моделей состоит из трех уровней. Наиболее простая модель первого уровня - проверка однородности результатов измерений по альтернативному (дихотомическому, бинарному) признаку - уже частично рассмотрена. (Здесь значение альтернативного признака равно 0, если , и равно 1, если .) Она сводится к проверке гипотезы о значении параметра биномиального распределения:

где .
	В этой модели применяют "критерий знаков". При справедливости гипотезы однородности число W осуществлений события  имеет биномиальное распределение с вероятностью успеха p = 1/2 и числом испытаний n. Альтернативная гипотеза состоит в том, что вероятность успеха отличается от 1/2:

	Гипотезу p = 1/2 можно проверять как непосредственно с помощью биномиального распределения (используя таблицы или программное обеспечение), так и опираясь на (интегральную) теорему Муавра-Лапласа. Согласно этой теореме 

при всех х, где Ф(х) - функция стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1. Из теоремы Муавра-Лапласа вытекает правило принятия решений на уровне значимости 5%: если

то гипотезу однородности связанных выборок принимают, в противном случае отклоняют. 
	Замечание. Здесь и далее при желании использовать другой уровень значимости применяют в качестве критического значения иной квантиль нормального распределения. Использование предельных теорем допустимо при достаточно больших объемах выборки. По поводу придания точного смысла термину "достаточно большой" в науке продолжаются дискуссии. Обычно считается, что несколько десятков (два-три десятка) - это уже "достаточно много". Более правильно сказать, что ответ зависит от задачи, от ее сложности и практической значимости. 
	Второй уровень моделей проверки однородности связанных выборок - это уровень проверки однородности характеристик, прежде всего однородности математических ожиданий. Исходные данные - количественные результаты измерений (наблюдений, испытаний, анализов, опытов) двух признаков хj и уj , j = 1,2,…,n, а непосредственно анализируются их разности Zj = хj  - уj , j = 1,2,…,n. Предполагается, что эти разности независимы в совокупности и одинаково распределены, однако функция распределения неизвестна статистику. Необходимо проверить непараметрическую гипотезу

Альтернативная гипотеза также является непараметрической и имеет вид:

Как и в случае проверки гипотезы согласованности для независимых выборок с помощью критерия Крамера-Уэлча [2], в рассматриваемой ситуации естественно использовать статистику

где

среднее арифметическое разностей, а 

их выборочное среднее квадратическое отклонение. Из Центральной Предельной Теоремы теории вероятностей и теорем о наследовании сходимости [6, 7] следует, что

при всех х, где Ф(х) - функция стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1. Отсюда вытекает правило принятия решений на уровне значимости 5%: если

то гипотезу однородности математических ожиданий связанных выборок принимают, в противном случае отклоняют.  
	Третий уровень моделей проверки однородности связанных выборок - это уровень проверки однородности (совпадения) функций распределения. Необходимо проверить непараметрическую гипотезу [8] наиболее всеохватного вида:

где

При этом предполагается, что все участвующие в вероятностной модели случайные величины независимы (в совокупности) между собой. 
	Отметим одно важное свойство непрерывной функции распределения случайной величины Z. Если случайные величины Х и Y независимы и одинаково распределены, то для функции распределения H(x) = P(Z < x) случайной величины Z = X – Y выполнено, как нетрудно видеть, соотношение
H(-x)=1 - H(x)
при всех x. Действительно, если случайные величины Х и Y независимы и одинаково распределены, то случайные величины Z и (-Z) одинаково распределены, а потому P(Z < x) = P(-Z < x); при этом P(-Z < x) = P(Z > -x) = 1 - P(Z < - x) - P(Z = x) = 1 - H(-x) - P(Z = x). Поскольку для случайной величины с непрерывной функцией распределения вероятность попасть в определенную точку равна 0, то P(Z = x) = 0, а потому H(x) = 1 - H(-x) при всех x. Это соотношение имеет эквивалентную форму:
H(x) + H(-x) = 1
при всех x.
	Рассматриваемое соотношение означает симметрию функции распределения относительно 0. Плотность такой функции распределения является четной функцией, ее значения в точках х и (-х) совпадают.
	Итак, проверка гипотезы однородности связанных выборок в наиболее общем случае сводится к проверке симметрии функции распределения разности Z = X – Y относительно 0.

	4. Методы проверки гипотезы симметрии
	Рассмотрим методы проверки гипотезы симметрию функции распределения относительно 0. Начнем с обсуждения различных типов отклонений от гипотезы симметрии, которые можно ожидать при альтернативных гипотезах. 
	Рассмотрим сначала частный случай - альтернативу сдвига

В этом случае для проверки гипотезы однородности может быть использован критерий знаковых рангов Вилкоксона (см., например, справочник [9, с.46-53]). 
	Этот критерий строится следующим образом. Пусть R(Zj) является рангом |Zj| в ранжировке от меньшего к большему абсолютных значений разностей |Z1|, |Z2|,…,|Zn|, j = 1, 2, …, n. Положим для j = 1, 2, …, n

Статистика критерия знаковых рангов имеет вид

Таким образом, нужно просуммировать ранги положительных разностей в вариационном ряду, построенном стандартным образом по абсолютным величинам всех разностей.
	Для практического использования статистики критерия знаковых рангов Вилкоксона либо обращаются к соответствующим таблицам и программному обеспечению, либо применяют асимптотические соотношения. При выполнении нулевой гипотезы статистика

имеет асимптотическое (при ) стандартное нормальное распределение с математическим ожиданием 0 и дисперсией 1. Следовательно, правило принятия решений на уровне значимости 5%: имеет обычный вид: если

то гипотезу однородности связанных выборок по критерию знаковых рангов Вилкоксона принимают, в противном случае отклоняют. 
	Свойства критерия знаковых рангов Вилкоксона напоминают свойства двухвыборочного критерия Вилкоксона [3]. В частности, он не является состоятельным против альтернативы общего вида, в отличие от альтернативы сдвига. 
	Альтернативная гипотеза общего вида записывается как

при некотором х0 . Таким образом, проверке подлежит гипотеза симметрии относительно 0, которую можно переписать в виде
H(x) + H(-x) - 1 = 0.
Для построенной по выборке Zj = хj  - уj , j = 1,2,…,n, эмпирической функции распределения Hn(x) последнее соотношение выполнено лишь приближенно:

Как измерять отличие от 0? По тем же соображениям, что и в статье [1], целесообразно использовать статистику типа омега-квадрат. Соответствующий критерий предложен в работах [10, 11]. Он имеет вид

В работе [10] найдено предельное распределение этой статистики:

В табл.1 приведены асимптотические критические значения рассматриваемой статистики [10], которыми можно пользоваться при объеме выборки n > 20.

Таблица 1. Критические значения статистики .
Значение функции распределения 	Уровень значимости 	Критическое значение х статистики 	
0,90	0,10	1,20	
0,95	0,05	1,66	
0,99	0,01	2,80	

	Как следует из табл.1, правило принятия решений при проверке однородности связанных выборок в наиболее общей постановке и при уровне значимости 5% формулируется так. Вычислить статистику . Если <1,66, то принять гипотезу однородности. В противном случае - отвергнуть.
	Пример. Пусть величины Zj , j=1,2,…,20, таковы:
20, 18, (-2), 34, 25, (-17), 24, 42, 16, 26, 
13, (-23), 35, 21, 19, 8, 27, 11, (-5), 7.
Соответствующий вариационный ряд  имеет вид:
(-23) < (-17) < (-5) < (-2) < 7 < 8 < 11 < 13 < 16 < 18 <
< 19 < 20 < 21 < 24 < 25 < 26 < 27 < 34 < 35 < 42.
	Для расчета значения статистики  построим табл.2 из 7 столбцов и 20 строк, не считая заголовков столбцов (сказуемого таблицы). В первом столбце указаны номера (ранги) членов вариационного ряда, во втором - сами эти члены, в третьем - значения эмпирической функции распределения при значениях аргумента, совпадающих с членами вариационного ряда. В следующем столбце приведены члены вариационного ряда с обратным знаком, а затем указываются соответствующие значения эмпирической функции распределения. Например, поскольку минимальное наблюдаемое значение равно (-23), то Hn(x)=0 при x < (-23), а потому для членов вариационного ряда с 14-го по 20-й в пятом столбце стоит 0. В качестве другого примера рассмотрим минимальный член вариационного ряда, т.е. число (-23). Меняя знак, получаем 23. Это число стоит между 13-м и 14-м членами вариационного ряда, 21 < 23 < 24. На этом интервале эмпирическая функция распределения совпадает со своим значением в левом конце, поэтому следует записать в пятом столбце значение 0,65. Остальные ячейки пятого столбца заполняются аналогично. На основе третьего и пятого столбцов элементарно заполняется шестой столбец, а затем и седьмой. Остается найти сумму значений, стоящих в седьмом столбце. Подобная таблица удобна как для ручного счета, так и при использовании электронных таблиц типа Excel.

Таблица 2. Расчет значения статистики .
 j	Z(j)	Hn(Z(j))	- Z(j)	Hn(-Z(j))	Hn(Z(j))+
Hn(-Z(j))-1	(Hn(Z(j))+
Hn(-Z(j))-1)2	
1	-23	0,05	23	0,65	-0,30	0,09	
2	-17	0,10	17	0,45	-0,45	0,2025	
3	-5	0,15	5	0,20	-0,65	0,4225	
4	-2	0,20	2	0,20	-0,60	0,36	
5	7	0,25	-7	0,10	-0,65	0,4225	
6	8	0,30	-8	0,10	-0,60	0,36	
7	11	0.35	-11	0,10	-0,55	0,3025	
8	13	0,40	-13	0,10	-0,50	0,25	
9	16	0,45	-16	0,10	-0,45	0,2025	
10	18	0,50	-18	0,05	-0,45	0,2025	
11	19	0,55	-19	0,05	-0,40	0,16	
12	20	0,60	-20	0,05	-0,35	0,1225	
13	21	0,65	-21	0,05	-0,30	0,09	
14	24	0,70	-24	0	-0,30	0,09	
15	25	0,75	-25	0	-0,25	0,0625	
16	26	0,80	-26	0	-0,20	0,04	
17	27	0,85	-27	0	-0,15	0,0225	
18	34	0,90	-34	0	-0,10	0,01	
19	35	0,95	-35	0	-0,05	0,0025	
20	42	1,00	-42	0	0	0	
 
	Результаты расчетов (суммирование значений по седьмому столбцу табл.2) показывают, что значение статистики =3,415. В соответствии с табл.1 это означает, что на любом используемом в прикладных исследованиях уровнях значимости отклоняется гипотеза симметрии распределения относительно 0 (а потому и гипотеза однородности в связанных выборках).

	5. О разработке критерия типа омега-квадрат для проверки симметрии распределения 
	В 1969 г. в качестве курсовой работы (на четвертом курсе механико-математического факультета МГУ им. М.В. Ломоносова) Ю.Н. Тюрин предложил автору настоящей статьи разработать критерий типа омега-квадрат для проверки симметрии распределения относительно 0. В ответ был предложен класс критериев интегрального типа [12] и доказаны предельные теоремы. Был введен класс статистик интегрального типа, изучено их асимптотическое поведение, для чего понадобилось разработать новый метод приближения ступенчатыми функциями. Было найдено выражение для предельного распределения. Г.В. Мартынов (тогда МГУ им. М.В. Ломоносова, ныне ИППИ РАН) разработал алгоритм и компьютерную программу [13], по которой можно было рассчитывать предельное распределение для наиболее практически важного частного случая - критерия типа омега-квадрат. Итог - статья [10].
	Первую статью пришлось переписывать 10 раз. Член-корреспондент АН СССР Л.Н. Большев ее отредактировал, за что автор настоящей статьи ему искренне благодарен. Первый вариант статьи [10] - курсовая работа, законченная в весеннем семестре 1970 г. Через 2 года статья [10] вышла в основном отечественном журнале по теории вероятностей и математической статистике.
	А еще через полгода (в № 6 за 1972 г.) в основном американском журнале по рассматриваемой тематике «Annals of mathematical statistics» появилась статья Ротмана и Вудруфа [14], в которой была предложена и изучена та же самая статистика (точнее, отличающаяся множителем 4). Конечно, этот факт произвел на большое впечатление.
	Но самое интересное случилось позже. Г.В. Мартынов разыскал неопубликованную кандидатскую диссертацию проф. Н.Н. Ченцова 1958 г. [15], в которой для наиболее практически важного частного случая были получены те же результаты, что и в двух упомянутых статьях - [10] и [14]. Итак, трое исследователей (или, точнее, три группы) независимо друг от друга предложили один и тот же критерий типа омега-квадрат для проверки симметрии распределения относительно 0. 
	Как понять происшедшее? Ситуация становится яснее, если обратиться к истории математической статистики. В 1950-х годах была создана общая теория - т.н. «принцип инвариантности», - позволяющая стандартным образом находить предельные распределения статистик. Диссертация Н.Н. Ченцова относилась как раз к этому периоду. Конкретные статистики рассматривались лишь как примеры. Именно поэтому, по нашей оценке, Н.Н.Ченцов и не публиковал свои результаты о предельном поведении статистики типа омега-квадрат для проверки симметрии распределения. 
	Две упомянутые выше статьи 1972 г. [10] и [14] относились уже к следующему периоду, когда «подчищались» классические постановки непараметрической математической статистики, доделывалось то, что не было сделано ранее по тем или иным причинам. Дело в том, что в области проверки статистических гипотез число классических непараметрических постановок ограничено - гипотезы согласия, однородности, независимости, симметрии и немногочисленные иные. И основные результаты классической непараметрической статистики к этому времени были уже получены. Они отражены в «Таблицах математической статистики» Л.Н. Большева и Н.В. Смирнова [4], первое издание которых вышло в 1964 г. Эта книга остается актуальной и в XXI веке именно потому, что она отражает законченный этап развития науки. 
	Что же касается практического использования критерия типа омега-квадрат для проверки симметрии распределения, то следующий шаг был сделан через 30 лет, когда этот критерий - после адаптации для практического использования - был включен в учебник «Эконометрика» [5] (первое издание вышло в 2002 г.), а также опубликован в научном журнале [11]. Любопытно, что журнальная публикация статьи отстала от выхода учебника на 2 года. Это связано с тогдашними сроками публикации в журнале и в книжном издательстве.
	Исследования продолжаются. Сринивасан и Годио разработали методы вычисления статистики типа омега-квадрат  при конечном объеме выборки [16]. В частности, это они показали, что предельным распределением можно пользоваться при объеме выборки n > 20. Бывала и явная небрежность – ссылаются, не прочитав внимательно. Как иначе объяснить, что Я.Ю. Никитин приписывает [17, с. 124-126] результаты, полученные в статье 1972 г. [10], некоему американскому автору по фамилии Козел (J.A. Koziol), напечатавшему в 1980 г. статью с более частными результатами?
	Таким образом, критерий типа омега-квадрат для проверки симметрии распределения уже около 50 лет остается актуальным, вначале для теории, а затем для практики.

Литература
1.	Орлов А.И. О проверке однородности двух независимых выборок // Заводская лаборатория. Диагностика материалов. 2003. Т.69. №1. С.55-60.
2.	Орлов А.И. Проверка статистической гипотезы однородности математических ожиданий двух независимых выборок: критерий Крамера-Уэлча вместо критерия Стьюдента // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2015. № 110. С. 197–218.
3.	Орлов А.И. Двухвыборочный критерий Вилкоксона – анализ двух мифов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2014. № 104. С. 91 – 111.
4.	Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. – М.: Наука, 1983. - 416 с.
5.	Орлов А.И. Эконометрика. Изд. 4-е, доп. и перераб. Учебник для вузов. – Ростов-на-Дону: Феникс, 2009. - 572 с.
6.	Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука, 1979. – 296 с.
7.	Орлов А.И. Теоретические инструменты статистических методов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2014. № 101. С. 253–274.
8.	Орлов А.И. Современное состояние непараметрической статистики // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2015. № 106. С. 239 – 269.
9.	Холлендер М., Вульф Д. Непараметрические методы статистики. – М.: Финансы и статистика, 1983. - 518 с.
10.	Орлов А.И. О проверке симметрии распределения // Теория вероятностей и ее применения. 1972. Т.17. № 2. С. 372-377.
11.	Орлов А.И. Методы проверки однородности связанных выборок // Заводская лаборатория. Диагностика материалов. 2004. Т.70. №7. С.57-61.
12.	Орлов А.И. Предельная теория непараметрических статистик // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2014. № 100. С. 31-52.
13.	Мартынов Г.В. Критерии омега-квадрат. - М.: Изд-во "Наука", 1978. - 80 с.
14.	Rothman E.D., Woodroofe M. A Cramer - von Mises statistic for testing symmetry // Ann. Math. Statist. 1972. V.43. N 6. P. 2035 - 2038.
15.	Ченцов Н.Н. Обоснование статистических критериев методами теории случайных процессов. Дисс. ... канд. физ. - мат наук. М.: Математ. ин-т АН СССР им. В.А. Стеклова, 1958. 
16.	Srinivasan R., Godio L.B. A Cramer - von Mises type statistic for testing symmetry // Biometrika. 1974. V.61. N 1. P. 196 - 198.
17.	Никитин Я.Ю. Асимптотическая эффективность непараметрических критериев. – М.: Наука, Физматлит. 1995. – 240 с.

References
1.	Orlov A.I. O proverke odnorodnosti dvuh nezavisimyh vyborok // Zavodskaja laboratorija. Diagnostika materialov. 2003. T.69. №1. S.55-60.
2.	Orlov A.I. Proverka statisticheskoj gipotezy odnorodnosti matematicheskih ozhidanij dvuh nezavisimyh vyborok: kriterij Kramera-Ujelcha vmesto kriterija St'judenta // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta. 2015. № 110. S. 197–218.
3.	Orlov A.I. Dvuhvyborochnyj kriterij Vilkoksona – analiz dvuh mifov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta. 2014. № 104. S. 91 – 111.
4.	Bol'shev L.N., Smirnov N.V. Tablicy matematicheskoj statistiki. – M.: Nauka, 1983. - 416 s.
5.	Orlov A.I. Jekonometrika. Izd. 4-e, dop. i pererab. Uchebnik dlja vuzov. – Rostov-na-Donu: Feniks, 2009. - 572 s.
6.	Orlov A.I. Ustojchivost' v social'no-jekonomicheskih modeljah. - M.: Nauka, 1979. – 296 s.
7.	Orlov A.I. Teoreticheskie instrumenty statisticheskih metodov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta. 2014. № 101. S. 253–274.
8.	Orlov A.I. Sovremennoe sostojanie neparametricheskoj statistiki // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta. 2015. № 106. S. 239 – 269.
9.	Hollender M., Vul'f D. Neparametricheskie metody statistiki. – M.: Finansy i statistika, 1983. - 518 s.
10.	Orlov A.I. O proverke simmetrii raspredelenija // Teorija verojatnostej i ee primenenija. 1972. T.17. № 2. S. 372-377.
11.	Orlov A.I. Metody proverki odnorodnosti svjazannyh vyborok // Zavodskaja laboratorija. Diagnostika materialov. 2004. T.70. №7. S.57-61.
12.	Orlov A.I. Predel'naja teorija neparametricheskih statistik // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta. 2014. № 100. S. 31-52.
13.	Martynov G.V. Kriterii omega-kvadrat. - M.: Izd-vo "Nauka", 1978. - 80 s.
14.	Rothman E.D., Woodroofe M. A Cramer - von Mises statistic for testing symmetry // Ann. Math. Statist. 1972. V.43. N 6. P. 2035 - 2038.
15.	Chencov N.N. Obosnovanie statisticheskih kriteriev metodami teorii sluchajnyh processov. Diss. ... kand. fiz. - mat nauk. M.: Matemat. in-t AN SSSR im. V.A. Steklova, 1958. 
16.	Srinivasan R., Godio L.B. A Cramer - von Mises type statistic for testing symmetry // Biometrika. 1974. V.61. N 1. P. 196 - 198.
17.	Nikitin Ja.Ju. Asimptoticheskaja jeffektivnost' neparametricheskih kriteriev. – M.: Nauka, Fizmatlit. 1995. – 240 s.